PEFT fine tuning of Llama 3 on SageMaker HyperPod with AWS Trainium
在这篇博文中，我们展示了如何使用 AWS Trainium 上的 PEFT 和 SageMaker HyperPod 对 Meta Llama 3 模型进行高效的监督微调。我们使用 HuggingFace 的 Optimum-Neuron 软件开发工具包 (SDK) 将 LoRA 应用于微调作业，并使用 SageMaker HyperPod 作为主要计算集群在 Trainium 上执行分布式训练。使用 LoRA 监督微调 Meta Llama 3 模型，您可以进一步将微调模型的成本降低高达 50%，并将训练时间缩短 70%。
Using transcription confidence scores to improve slot filling in Amazon Lex
在使用 Amazon Lex 构建支持语音的聊天机器人时，最大的挑战之一是准确捕获用户语音输入以获取槽值。转录置信度分数可以帮助确保可靠的槽填充。这篇博文概述了渐进式确认、自适应重新提示和分支逻辑等策略，以创造更强大的槽填充体验。
Improving Retrieval Augmented Generation accuracy with GraphRAG
AWS 合作伙伴 Lettria 证明，与仅使用向量的检索方法相比，将基于图形的结构集成到 RAG 工作流中可将答案准确率提高高达 35%。在这篇文章中，我们探讨了为什么 GraphRAG 比单独的向量 RAG 更全面、更易于解释，以及如何使用 AWS 服务和 Lettria 使用此方法。
Add a generative AI experience to your website or web application with Amazon Q embedded
Amazon Q 嵌入式功能可让您在网站或应用程序中嵌入托管的 Amazon Q Business 助手，以创建更加个性化的体验，从而提高最终用户的工作效率。在这篇文章中，我们将演示如何使用 Amazon Q 嵌入式功能使用基本 HTML 或 React 将 Amazon Q Business 助手添加到您的网站或 Web 应用程序中。
Design multi-agent orchestration with reasoning using Amazon Bedrock and open source frameworks
这篇文章提供了创建具有推理功能的协作多代理框架的分步说明，以将业务应用程序与 FM 分离。它演示了如何将 Amazon Bedrock 代理与开源多代理框架相结合，从而实现代理之间的协作和推理，以动态执行各种任务。该练习将指导您完成使用 Amazon Bedrock、Amazon Bedrock 知识库、Amazon Bedrock 代理和 FM 构建推理编排系统的过程。我们还探讨了 Amazon Bedrock 代理与开源编排框架 LangGraph 和 CrewAI 的集成，以进行调度和推理。
Fastweb 是意大利领先的电信运营商之一，很早就认识到了 AI 技术的巨大潜力，并于 2019 年开始在该领域进行投资。在本文中，我们将探讨 Fastweb 如何利用尖端的 AI 和 ML 服务踏上他们的 LLM 之旅，克服挑战并在此过程中解锁新机遇。
Simplify multimodal generative AI with Amazon Bedrock Data Automation
Amazon Bedrock Data Automation 公开预览版为所有技能组合的开发人员提供了统一的体验，使他们能够轻松地自动从文档、图像、音频和视频中提取、转换和生成相关见解，以构建生成式 AI 驱动的应用程序。在本文中，我们将演示如何在 AWS 管理控制台中使用 Amazon Bedrock Data Automation 和 AWS SDK for Python (Boto3) 进行媒体分析和智能文档处理 (IDP) 工作流。
TUI Group 是全球领先的旅游服务公司之一，为 180 个地区的 2100 万客户提供无与伦比的度假体验。TUI 内容团队的任务是为其网站制作高质量的内容，包括产品详细信息、酒店信息和旅行指南，通常使用酒店和第三方合作伙伴撰写的描述。在这篇文章中，我们讨论了如何使用 Amazon SageMaker 和 Amazon Bedrock 构建内容生成器，该生成器根据特定的品牌和风格指南重写营销内容。
Llama 3.3 70B now available in Amazon SageMaker JumpStart
今天，我们很高兴地宣布 Meta 的 Llama 3.3 70B 已在 Amazon SageMaker JumpStart 中推出。 Llama 3.3 70B 标志着大型语言模型 (LLM) 开发方面取得了令人兴奋的进步，它以更少的计算资源提供了与大型 Llama 版本相当的性能。在本文中，我们将探讨如何在 Amazon SageMaker AI 上高效部署此模型，并使用高级 SageMaker AI 功能实现最佳性能和成本管理。
在 AWS re:Invent 2024 结束后不久，我们采访了数据和 AI 副总裁 Swami Sivasubramanian 博士，听取了他的印象，并深入了解最新的 AWS 创新如何帮助满足客户在构建和扩展变革性生成 AI 应用程序时的实际需求。
How Amazon trains sequential ensemble models at scale with Amazon SageMaker Pipelines
集成模型在 ML 社区中越来越受欢迎。它们通过组合多个模型的预测来生成更准确的预测。管道可以快速用于为集成模型创建端到端 ML 管道。这使开发人员能够构建高度准确的模型，同时保持效率和可重复性。在这篇文章中，我们提供了一个使用管道训练和部署的集成模型的示例。
Implementing login node load balancing in SageMaker HyperPod for enhanced multi-user experience
在本文中，我们探讨了在基于 Slurm 的 HyperPod 集群中跨登录节点实现负载平衡的解决方案。通过在所有可用节点上均匀分布用户活动，这种方法为所有用户提供了更一致的性能、更好的资源利用率和更流畅的体验。我们将指导您完成设置过程，并提供在 HyperPod 集群中实现有效负载平衡的实用步骤。
在本文中，我们探讨了 Clearwater Analytics 在生成 AI 方面的尝试，他们如何使用 Amazon SageMaker 构建解决方案，并深入研究 Clearwater Analytics 如何使用 LLM 利用投资管理领域超过 18 年的经验，同时优化模型成本和性能。
How Twitch used agentic workflow with RAG on Amazon Bedrock to supercharge ad sales
在本文中，我们展示了我们如何创新地构建具有代理工作流和 Amazon Bedrock 上的知识库的检索增强生成 (RAG) 应用程序。我们在基于 Slack 聊天的助手中实施了 RAG 管道，以使 Amazon Twitch 广告销售团队能够快速抓住新的销售机会。
Accelerate analysis and discovery of cancer biomarkers with Amazon Bedrock Agents
Bedrock 多代理协作使开发人员能够构建、部署和管理多个无缝协作的专用代理，以解决日益复杂的业务工作流。在这篇文章中，我们向您展示了 Amazon Bedrock Agents 的代理工作流如何通过自然语言界面帮助研究科学家加速这一旅程。我们定义了一个示例分析管道，特别是针对具有生物标志物临床、基因组学和成像模式的肺癌生存率。我们展示了各种专用代理，包括生物标志物数据库分析师、统计学家、临床证据研究员和医学成像专家与主管代理合作。我们展示了代理的自我审查和规划的高级能力，通过将复杂的任务分解为一系列步骤并展示生成最终答案的思路链，有助于与最终用户建立信任。
在本系列的第 1 部分中，我们介绍了 Amazon SageMaker Python SDK 上新推出的 ModelTrainer 类及其优势，并向您展示了如何在自定义数据集上微调 Meta Llama 3.1 8B 模型。在这篇文章中，我们将介绍 ModelBuilder 类的增强功能，它允许您将模型从 ModelTrainer 无缝部署到 SageMaker 终端节点，并为多种部署配置提供单一界面。
Amazon Q Apps supports customization and governance of generative AI-powered apps
在这篇文章中，我们将研究这些功能如何增强 Amazon Q Apps 的功能。我们探索了新的自定义选项，详细介绍了这些改进如何使 Amazon Q Apps 更易于访问并适用于更广泛的企业客户。我们重点介绍自定义标签、经过验证的应用程序、私人共享和数据收集应用程序（预览）等关键功能。
Answer questions from tables embedded in documents with Amazon Q Business
Amazon Q Business 推出了对表格搜索的支持，您可以使用该功能从 Amazon Q Business 中获取的文档中嵌入的表格中提取答案。表格搜索是 Amazon Q Business 中的一项内置功能，可无缝跨多个域运行，无需管理员或最终用户进行设置。在这篇文章中，我们获取了包含表格的不同类型的文档，并向您展示了 Amazon Q Business 如何响应与表格中的数据相关的问题。
